Sau khi làm thừa tướng, Phạm Thư nhớ ơn Trịnh An Bình và Vương Kê, đều tiến cử lên vua Tần. Vua Tần bèn sai An Bình đánh Triệu, nhưng An Bình lại đem hai vạn quân đầu hàng, bị giết cả họ. Theo luật nước Tần, người tiến cử cũng phải cùng tội nên Phạm Thư tự nằm lên cỏ khô đợi tội. Vua Tần không nỡ giết, ra lệnh không ai được nhắc đến nữa. Hai năm sau, Vương Kê thông mưu với nước Ngụy chống Tần, cũng bị giết. Phạm Thư biết chuyện, trong lòng áy náy không yên.

Một hôm, Phạm Thư vào chầu, thấy vua Tần thở dài, thì nói:

"Thần nghe, vua lo thì tôi nhục, vua nhục thì tôi phải chết. Nay đại vương ưu phiền, tất là thần có tội".

Vua Tần bảo:

"Quả nhân thấy phàm việc không dự bị sẵn sàng, thì không ứng phó kịp trong khi thảng thốt; nay Võ An quân đã bị giết, Trịnh An Bình lại làm phản, ngoài nhiều cường địch mà trong không có lương tướng, vì thế quả nhân lấy làm lo."

Phạm Thư lo sợ, lui ra. Sau đó có người nước Yên là Thái Trạch đến Tần, tự khoe mình sẽ thay Phạm Thư làm Thừa tướng. Phạm Thư nghe vậy bèn triệu Thái Trạch vào cung, định chế nhạo nhưng Thái Trạch dùng lời lẽ phân tích lợi hại, khuyên Phạm Thư nhường chức cho mình. Phạm Thư kính phục, tôn làm thượng khách, hôm sau lại vào gặp vua Tần xin tiến cử Thái Trạch. Vua Tần phong Trạch làm Khách khanh. Sau đó Phạm Thư xưng bệnh nộp lại tướng ấn nhưng vua Tần không cho. Ông bèn cáo đau nặng không dậy được. Vua Tần bèn cử Thái Trạch làm thừa tướng để thay Phạm Thư, phong làm Cương Thành quân. Phạm Thư về dưỡng lão ở Ứng thành.

Năm 255 TCN, Phạm Thư mất ở Ung Thành. Do không rõ Phạm Thư sinh năm nào nên không biết lúc mất, ông được bao nhiêu tuổi.